(Towards) Scalable Reliable Automated Evaluation with Large Language Models
面向可扩展可靠的大语言模型自动化评估
🧭 LLM自动化评估框架
KIT
利用多LLM成对比较与Elo评级系统，实现可扩展且可靠的文本质量自动评估，减少人工干预。
📌 工作参考价值（4 点）
- 在推荐系统评估生成式文本（如商品描述、推送文案）时，可运用多LLM成对比较取代单模型评分，降低单个LLM偏差，提高评估稳健性。
- 采用Elo评级系统将两两对比转化为全局排名，适合持续迭代优化的场景，如A/B测试后的模型选优，能生成稳定且可解释的质量排序。
- 可调一致性阈值（从全票一致到多数投票）为工程实践提供灵活性：初期用高阈值保障高置信度，规模扩展时放宽阈值以提高覆盖率，权衡成本与信度。
- 该方法领域无关，可直接迁移至电商搜索、广告文案、对话Agent等多文本生成场景的离线和在线评估，大幅减少人工评审工作量。